Comme s’en sont inquiétés les spécialistes dès la sortie des modèles d’IA générative grand public, les usages de ces technologies à des fins de harcèlement se multiplient.

Après les deepfakes à caractère pornographiques, les chatbots imitant des personnes réelles. Si l’IA générative ouvre des perspectives en matière de création ou de résumés de contenus, elle est aussi facilement détournée à des fins malveillantes, et notamment de harcèlement.

Dans deux enquêtes successives, Wired revient sur le nombre faramineux de robots de « nudification », c’est-à-dire qui propose de dénuder les images de personnes réelles sans leur consentement, disponibles sur Telegram, et sur l’existence de chatbots construits pour imiter des personnes réelles, vivantes ou décédées.

Dans les deux cas, le consentement des personnes concernées est rarement demandé… quand les productions ne servent pas directement à harceler.

• Rumman Chowdhury : « il faut investir autant dans la protection des utilisateurs que dans le développement de l’IA »

Des millions d’utilisateurs de bots de « nudification »

Les deepfakes pornographiques sont un problème mondial, qui vise ultra-majoritairement les femmes, nous l’avons couvert à de multiples reprises. Mais celui-ci en ne se traduit pas de la même manière selon les plateformes étudiées.

En l’occurrence, Wired rapporte avoir dénombré plus de 50 bots construits à l’aide d’intelligence artificielle générative pour permettre aux internautes de dénuder des images de femmes sur Telegram, plateforme réputée être l’une des moins efficaces en termes de modérations.

À eux seuls, cette cinquantaine de robots récoltent plus de quatre millions d’ « utilisateurs mensuels » (à ceci près qu’il est difficile d’établir la mesure dans laquelle un utilisateur est consommateur des contenus de plusieurs bots).

Pour leur fournir le contenu, ces bots sont reliés à plus d’une vingtaine de canaux Telegram dédiés. Plusieurs ont été modérés une fois que Wired les a signalés à la plateforme : à la suite de l’arrestation de son patron Pavel Durov en France en août, cette dernière a commencé à modifier ses pratiques.

• Deepfakes pornographiques : quels sont les enjeux ?


Création non consentie d’imitations textuelles et vocales

En parallèle, un autre cas d’usage d’IA générative se retrouve détourné à des fins malveillantes : la création de chatbots textuels et vocaux ressemblant à des personnes réelles. Wired s'arrête en particulier sur le cas de Character.ai, qui permet de créer très simplement des chatbots de personnes imaginaires, issues de la fiction… ou de la pop culture (Next a par exemple croisé des imitations plus ou moins crédibles de Céline Dion, Nicki Minaj et Donald Trump).

En l’occurrence, Wired rapporte aussi l’existence de robots construits pour imiter des personnes moins célèbres, dont certaines décédées, sans que leurs proches n’aient consenti au procédé.

Le média relève par ailleurs la présence d’imitation de plusieurs membres de l’écosystème du jeu vidéo visés par des campagnes de cyberharcèlement à plus ou moins long cours, parmi lesquels Anita Sarkeesian, créatrice de la chaîne Feminist Frequency à la fin des années 2000 et violemment prise à partie lors du Gamergate, ou Kim Belair, créateur du studio Sweet Baby Inc., attaqué début 2024 à cause de son activité de conseil dans l’écriture de jeux vidéos.

Interviewés, ces derniers soulignent les risques que cela peut poser pour leur vie privée comme leurs activités économiques, mais aussi les difficultés de contester la création de ce type de personnage : en droit américain, il peut être difficile de prouver qu’une telle imitation cause un dommage à la personne concernée.

Canaris dans la mine des violences numériques

Ces deux cas viennent directement illustrer les alertes lancées dans un rapport de l’UNESCO quelques semaines à peine après la sortie de modèles grand public de génération d’images ou de textes.

La data scientist Rumman Chowdhury y soulignait le fait que les femmes et les minorités étaient « les "canaris dans la mine" des violences numériques », c’est-à-dire qu’elles étaient régulièrement les premières exposées à des problématiques qui, à terme, touchaient l’intégralité des internautes.

En conséquence, la scientifique exhortait l’écosystème à investir autant dans la protection des utilisateurs que dans le développement de l’intelligence artificielle.